Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Theo blog ngày 21 tháng 7 của Stability AI, công ty và phòng thí nghiệm CarperAI của họ đã xuất bản các LLM truy cập mở có tên FreeWilly1 và FreeWilly2. Nó đã thể hiện khả năng suy luận xuất sắc trên nhiều tiêu chuẩn khác nhau và trong một số trường hợp thậm chí còn vượt trội hơn ChatGPT.

FreeWilly1 dựa trên mô hình nền tảng LLaMA 65B ban đầu và được tinh chỉnh cẩn thận bằng tập dữ liệu được tạo tổng hợp mới bằng định dạng Alpaca tiêu chuẩn được giám sát tinh chỉnh (SFT). Tương tự, FreeWilly2 tận dụng mô hình cơ bản LLaMA 2 70B, mang lại hiệu suất vượt trội so với GPT-3.5 cho một số tác vụ nhất định.


Cả hai mẫu FreeWilly đều là phiên bản thử nghiệm được phát hành theo giấy phép phi thương mại để khuyến khích nghiên cứu mở. Công ty cho biết họ đã tập hợp một đội đỏ nội bộ để đảm bảo các mô hình của mình “đáng kính” và an toàn, nhưng hoan nghênh phản hồi và hỗ trợ dành cho đội đỏ từ cộng đồng.

Quá trình tạo dữ liệu của mô hình FreeWilly được lấy cảm hứng từ phương pháp của bài báo "Orca: Học tập tiến bộ từ các dấu vết giải thích phức tạp trong GPT-4" của Microsoft. Cách tiếp cận của Stability AI tương tự nhưng nguồn dữ liệu được sử dụng thì khác. Biến thể tập dữ liệu chứa 600.000 điểm dữ liệu, bằng khoảng 10% kích thước được sử dụng trong bài báo Orca gốc.

Được tạo bằng cách nhắc nhở các mô hình ngôn ngữ với hướng dẫn chất lượng cao từ các bộ dữ liệu cụ thể như COT Submix Original, NIV2 Submix Original, FLAN 2021 Submix Original và T0 Submix Original.

Mặc dù kích thước mẫu nhỏ hơn so với bài báo Orca ban đầu, mô hình FreeWilly cho thấy hiệu suất vượt trội trên nhiều tiêu chuẩn khác nhau. Ví dụ, họ xuất sắc trong khả năng suy luận phức tạp, hiểu được sự tinh tế của ngôn ngữ và trả lời các câu hỏi phức tạp trong các lĩnh vực chuyên ngành như luật và giải quyết vấn đề toán học.


AI ổn định tập trung vào việc thúc đẩy nghiên cứu và hợp tác mở. Bằng cách cung cấp FreeWilly1 và FreeWilly2 cho cộng đồng nghiên cứu, chúng tôi mong muốn dân chủ hóa AI và khuyến khích các nỗ lực tập thể nhằm vượt qua các ranh giới của xử lý ngôn ngữ tự nhiên.